28.6 KB · ⇊ 9 parts · ⤓ Micron 28.6 KB · ⤓ HTML 98.8 KB

top

Lmwba'mwbqanalisi della regressione è una tecnica usata per analizzare una serie di dati che consistono in una mwbgvariabile dipendente e una o più mwbwvariabili indipendenti. Lo scopo è stimare un'eventuale relazione funzionale esistente tra la variabile dipendente e le variabili indipendenti. La variabile dipendente nellmwca'mwcqequazione di regressione è una funzione delle variabili indipendenti più un mwcgmwcwtermine d'errore. Quest'ultimo è una mwdavariabile casuale e rappresenta una variazione non controllabile e imprevedibile nella variabile dipendente. I parametri sono stimati in modo da descrivere al meglio i dati. Il metodo più comunemente utilizzato per ottenere le migliori stime è il metodo dei mwdq"minimi quadrati" (OLS), ma sono utilizzati anche altri metodi.

Il mwdwdata modeling può essere usato senza alcuna conoscenza dei processi sottostanti che hanno generato i dati;cite-ref-berk-1-0[1] in questo caso il modello è un modello empirico. Nella modellizzazione, inoltre, non è richiesta la conoscenza della mwfadistribuzione di probabilità degli errori. L'analisi della regressione richiede ipotesi riguardanti la mwfqdistribuzione di probabilità degli errori. Test statistici vengono effettuati sulla base di tali ipotesi. Nell'analisi della regressione il termine "modello" comprende sia la funzione usata per modellare i dati che le assunzioni concernenti la distribuzione di probabilità.

L'analisi della regressione può essere usata per effettuare previsioni (ad esempio per prevedere dati futuri di una serie temporale), mwfwinferenza statistica, per testare ipotesi o per modellare delle relazioni di dipendenza. Questi usi della regressione dipendono fortemente dal fatto che le assunzioni di partenza siano verificate. L'uso dell'analisi della regressione è stato criticato in diversi casi in cui le ipotesi di partenza non possono essere verificate.cite-ref-berk-1-1[1]cite-ref-2[2] Un fattore che contribuisce all'uso improprio della regressione è che richiede più competenze per criticare un modello che per adattarlo.cite-ref-3[3]

• Storia

• Presupposti

• Regressione lineare

• La regressione multipla

• Analisi di bontà del modello

• Regressione per variabili discrete: i modelli lineari generalizzati

• Interpolazione e estrapolazione

• Regressione non lineare

• Altri metodi

• Software

• Note

• Bibliografia

• Voci correlate

• Altri progetti

• Collegamenti esterni

La prima forma di regressione fu il mwjwmetodo dei minimi quadrati, pubblicato da mwkaLegendre nel 1805,cite-ref-legendre-4-0[4] e da mwlqGauss nel 1809.cite-ref-gauss-5-0[5] Il termine “minimi quadrati” deriva dall'espressione francese usata da Legendre, mwmgmoindres carrés. Tuttavia, Gauss affermò di essere a conoscenza di questo metodo fin dal 1795.

Legendre e Gauss applicarono entrambi il metodo al problema di determinare, a partire da osservazioni astronomiche, l'orbita dei pianeti attorno al Sole. Già mwnaEulero aveva lavorato sullo stesso problema, intorno al 1748, ma senza successo. Gauss pubblicò un ulteriore sviluppo della teoria dei minimi quadrati nel 1821,cite-ref-gauss2-6-0[6] includendo una versione del mwowteorema di Gauss-Markov.

Il termine "regressione" venne coniato nel mwpqXIX secolo per descrivere il fenomeno biologico per il quale la progenie di individui eccezionali tende in genere ad essere meno eccezionale dei propri genitori e più simile ai loro avi più distanti. mwpgFrancis Galton, un cugino di mwpwCharles Darwin, studiò questo fenomeno e usò i termini, vagamente fuorvianti, di "regressione verso il centro" e "regressione verso la media". Per Galton la regressione aveva solo questo significato biologico, ma il suo lavorocite-ref-7[7] venne in seguito esteso da Udny Yule e mwrqKarl Pearson in un contesto statistico più generale.cite-ref-8[8] Oggi il termine "regressione" viene spesso usato come sinonimo di "curva intercetta dei minimi quadrati".

• Il campione deve essere rappresentativo della popolazione per la quale si vuole effettuare la previsione.

• La variabile dipendente è soggetta ad errore. Tale errore si assume sia una mwtgvariabile casuale, con mwtwmedia zero. L'mwuaerrore sistematico può essere presente ma il suo trattamento esula dallo scopo dell'analisi della regressione.

• Le variabili indipendenti non hanno errore. Se così non fosse, la modellizzazione dovrebbe essere fatta usando le tecniche errors-in-variables.

• Le variabili predittive devono essere mwvalinearmente indipendenti, ossia non deve essere possibile esprimere un qualunque predittore come combinazione lineare degli altri. Vedi multicollinearità.

• Gli errori sono mwvwincorrelati, ossia, la mwwamatrice di varianza e covarianza degli errori è diagonale e ogni elemento non-nullo è la varianza dell'errore.

• La varianza dell'errore è costante (mwwgomoschedasticità). In caso contrario, si deve utilizzare il metodo dei minimi quadrati pesati, o altri metodi.

• Gli errori seguono una mwxadistribuzione normale. Altrimenti, dovrebbe essere usato il mwxqmodello lineare generalizzato.

Queste condizioni sono sufficienti (ma non tutte necessarie) perché lo mwxwstimatore dei minimi quadrati goda di buone proprietà. In particolare queste assunzioni implicano che lo stimatore sia mwyanon distorto, mwyqconsistente ed mwygefficiente nella classe degli stimatori lineari non distorti. Molte di queste assunzioni possono essere rilassate in analisi più avanzate.

Nella regressione lineare, il modello assume che la variabile dipendente, mwzg y i {\displaystyle y_{i}} sia una mwzwcombinazione lineare dei mwaaparametri (ma non è necessario che sia lineare nella mwaqvariabile indipendente). Ad esempio, nella regressione lineare semplice con mwag N {\displaystyle N} osservazioni ci sono una variabile indipendente: mwaw x i {\displaystyle x_{i}} , e due parametri, mwba β β 0 {\displaystyle \beta _{0}} e mwbq β β 1 {\displaystyle \beta _{1}} :

mwca y i = β β 0 + β β 1 x i + ε ε i , i = 1 , … … , N . {\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\ldots ,N.}

Nella regressione lineare multipla, ci sono più variabili indipendenti o funzioni di variabili indipendenti. Ad esempio, aggiungendo un termine in mwcg x i 2 {\textstyle x_{i}^{2}} alla regressione precedente si ottiene:

mwdq y i = β β 0 + β β 1 x i + β β 2 x i 2 + ε ε i , i = 1 , … … , N . {\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\varepsilon _{i},\ i=1,\ldots ,N.}

Si tratta ancora di una regressione lineare: sebbene l'espressione sulla destra sia quadratica nella variabile indipendente mwdw x i {\displaystyle x_{i}} , è comunque lineare nei parametri mwea β β 0 {\displaystyle \beta _{0}} , mweq β β 1 {\displaystyle \beta _{1}} e mweg β β 2 . {\displaystyle \beta _{2}.}

In entrambi i casi, mwfa ε ε i {\displaystyle \varepsilon _{i}} è un termine di errore e l'indice mwfq i {\displaystyle i} identifica una particolare osservazione. Dato un campione casuale della popolazione, stimiamo i parametri della popolazione e otteniamo il modello di regressione lineare semplice:

mwga y i = β β ^ ^ 0 + β β ^ ^ 1 X i + e i . {\displaystyle y_{i}={\widehat {\beta }}_{0}+{\widehat {\beta }}_{1}X_{i}+e_{i}.}

Il termine mwgg e i {\displaystyle e_{i}} è il residuo, mwgw e i = y i − − y ^ ^ i {\displaystyle e_{i}=y_{i}-{\widehat {y}}_{i}} . Un metodo di stima è quello dei mwhaminimi quadrati ordinari. Questo metodo ottiene le stime dei parametri che minimizzano la somma dei quadrati dei mwhqresidui, SSE:

mwia S S E = ∑ ∑ i = 1 N e i 2 . {\displaystyle SSE=\sum _{i=1}^{N}e_{i}^{2}.}

La minimizzazione di questa funzione risulta essere un sistema di equazioni normali, un insieme di equazioni lineari simultanee nei parametri, che vengono risolte per trovare le stime dei parametri, mwiw β β ^ ^ 0 , β β ^ ^ 1 {\displaystyle {\widehat {\beta }}_{0},{\widehat {\beta }}_{1}} . Vedi coefficienti di regressione per informazioni sulle proprietà statistiche di tali stimatori.

Nel caso della regressione semplice, le formule per le stime dei minimi quadrati sono

mwla β β 1 ^ ^ = ∑ ∑ ( x i − − x ¯ ¯ ) ( y i − − y ¯ ¯ ) ∑ ∑ ( x i − − x ¯ ¯ ) 2 {\displaystyle {\widehat {\beta _{1}}}={\frac {\sum (x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum (x_{i}-{\bar {x}})^{2}}}} e mwlq β β 0 ^ ^ = y ¯ ¯ − − β β 1 ^ ^ x ¯ ¯ {\displaystyle {\hat {\beta _{0}}}={\bar {y}}-{\widehat {\beta _{1}}}{\bar {x}}}

dove mwlw x ¯ ¯ {\displaystyle {\bar {x}}} è la mwmamedia (media) dei valori mwmq x {\displaystyle x} e mwmg y ¯ ¯ {\displaystyle {\bar {y}}} è la media dei valori mwmw y {\displaystyle y} . Sotto l'ipotesi che il termine di errore della popolazione abbia una varianza costante, la stima di quella varianza è data da: mwna σ σ ε ε ^ ^ = S S E N − − 2 {\displaystyle {\hat {\sigma _{\varepsilon }}}={\sqrt {\frac {SSE}{N-2}}}} Questo è la radice dell'mwnqerrore quadratico medio (RMSE) della regressione. Gli mwngerrori standard delle stime dei parametri sono dati da

mwoq σ σ ^ ^ β β 0 = σ σ ^ ^ ε ε 1 N + x ¯ ¯ 2 ∑ ∑ ( x i − − x ¯ ¯ ) 2 {\displaystyle {\hat {\sigma }}_{\beta _{0}}={\hat {\sigma }}_{\varepsilon }{\sqrt {{\frac {1}{N}}+{\frac {{\bar {x}}^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}}}}

mwow σ σ ^ ^ β β 1 = σ σ ^ ^ ε ε 1 ∑ ∑ ( x i − − x ¯ ¯ ) 2 . {\displaystyle {\hat {\sigma }}_{\beta _{1}}={\hat {\sigma }}_{\varepsilon }{\sqrt {\frac {1}{\sum (x_{i}-{\bar {x}})^{2}}}}.}

Sotto l'ulteriore ipotesi che il termine di errore della popolazione abbia distribuzione normale, il ricercatore può usare questi errori standard stimati per creare intervalli di confidenza e condurre test d'ipotesi sui parametri della popolazione.

Nel più generale modello di regressione multipla, ci sono mwpw p {\displaystyle p} variabili indipendenti:

mwqg y i = β β 0 + β β 1 x 1 i + ⋯ ⋯ + β β p x p i + ε ε i . {\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{1i}+\cdots +\beta _{p}x_{pi}+\varepsilon _{i}.}

Le stime dei parametri dei minimi quadrati sono ottenute da mwra p {\displaystyle p} equazioni normali. Il residuo può essere scritto come

mwrw e i = y i − − β β ^ ^ 0 − − β β ^ ^ 1 x 1 − − ⋯ ⋯ − − β β ^ ^ p x p . {\displaystyle e_{i}=y_{i}-{\hat {\beta }}_{0}-{\hat {\beta }}_{1}x_{1}-\cdots -{\hat {\beta }}_{p}x_{p}.}

Le equazioni normali sono

mwta ∑ ∑ i = 1 n ∑ ∑ k = 1 p X i j X i k β β ^ ^ k = ∑ ∑ i = 1 n X i j y i , j = 1 , . . . , p {\displaystyle \sum _{i=1}^{n}\sum _{k=1}^{p}X_{ij}X_{ik}{\hat {\beta }}_{k}=\sum _{i=1}^{n}X_{ij}y_{i},\ j=1,...,p}

In notazione matriciale, le equazioni normali sono scritte come

mwua ( X T X ) β β ^ ^ = X T y . {\displaystyle \mathbf {\left(X^{T}X\right){\hat {\boldsymbol {\beta }}}=X^{T}y} .}

Una volta costruito un modello di regressione, è importante confermare la bontà di adattamento del modello e la mwvasignificatività statistica dei parametri stimati. I controlli della bontà di adattamento comunemente usati includono l'indice mwvqR-quadro, analisi dei residui e mwvwtest di ipotesi. La significatività statistica è verificata con un mwwatest F dell'adattamento globale, seguito da mwwqt-test per ogni singolo parametro.

L'interpretazione di questi test dipende fortemente dalle assunzioni sul modello. Nonostante l'analisi dei residui sia usata per determinare la bontà di un modello, i risultati dei test-T e dei test-F sono difficili da interpretare nel caso in cui le assunzioni di partenza non siano soddisfatte. Ad esempio, se la distribuzione degli errori non è normale, può accadere che in campioni di numerosità ridotta le stime dei parametri non seguano una distribuzione normale, cosa che complica l'inferenza. Per grandi campioni, il mwxqteorema del limite centrale permette di effettuare i test usando un'approssimazione asintotica delle distribuzioni.

La variabile risposta può essere non continua. Per le variabili binarie (zero/uno), si può procedere con un particolare tipo di modello lineare linear probability model. Se si usa un modello non-lineare i modelli più utilizzati sono il mwyqprobit e il mwygmodello logit. Il modello probit multivariato rende possibile stimare congiuntamente la relazione tra più variabili binarie dipendenti e alcune variabili indipendenti. Per variabili categoriche con più di due valori si utilizza il modello logit multinomiale. Per variabili ordinali con più di due valori, si utilizzano i modelli logit cumulativo e probit cumulativo. Un'alternativa a tali procedure è la regressione lineare basata su polychoric o polyserial correlazioni tra le variabili categoriche. Tali procedure differiscono nelle ipotesi fatte sulla distribuzione delle variabili nella popolazione. Se la variabile rappresenta una ripetizione di un evento nel tempo, è positiva e con poche realizzazioni ("eventi rari"), si possono utilizzare modelli di mw0qPoisson o binomiale negativa.

I modelli di regressione predicono una variabile mw1q y {\displaystyle y} partendo dai valori di altre variabili mw1g x {\displaystyle x} . Se i valori della previsione sono compresi nell'intervallo dei valori delle variabili mw1w x {\displaystyle x} utilizzate per la costruzione del modello si parla di mw2ainterpolazione. Se i valori escono dal range delle variabili esplicative si parla di mw2qestrapolazione. In questo caso la previsione diventa più rischiosa.

Quando la funzione del modello non è lineare nei parametri la somma dei quadrati deve essere minimizzata da una procedura iterativa.

Sebbene i parametri di un modello di regressione siano di solito stimati usando il metodo dei minimi quadrati, altri metodi includono:

• metodi Bayesiani, per esempio la regressione lineare Bayesiana;

• minimizzazione delle deviazioni assolute, che porta alla mw5aregressione dei quantili;

• regressione non parametrica, tale approccio richiede un ampio numero di osservazioni, poiché i dati sono usati sia per costruire la struttura del modello che per stimare i parametri del modello. Normalmente richiedono un elevato sforzo computazionale.

Tutti i principali pacchetti statistici eseguono i tipi comuni di analisi di regressione correttamente e in modo semplice. La regressione lineare semplice può essere fatta in alcuni mw6wfogli elettronici. C'è una quantità di programmi che esegue forme specializzate di regressione, e gli esperti possono scegliere di scrivere il loro proprio codice per usare linguaggi di programmazione statistica o software per analisi numerica.

cite-note-berk-11. ↑ Richard A. Berk, mw9gRegression Analysis: A Constructive Critique, Sage Publications (2004)

cite-note-22. ↑ David A. Freedman, mw-gStatistical Models: Theory and Practice, Cambridge University Press (2005)

cite-note-33. ↑ mw-g R. Dennis Cook; Sanford Weisberg "Criticism and Influence Analysis in Regression", mw-wSociological Methodology, Vol. 13. (1982), pp. 313-361.

cite-note-legendre-44. ↑ mwaqmA.M. Legendre. mwaqqNouvelles méthodes pour la détermination des orbites des comètes (1805). “Sur la Méthode des moindres quarrés” appears as an appendix.

cite-note-gauss-55. ↑ mwaqgC.F. Gauss. mwaqkTheoria Motus Corporum Coelestium in Sectionibus Conicis Solem Ambientum. (1809)

cite-note-gauss2-66. ↑ C.F. Gauss. mwaq0Theoria combinationis observationum erroribus minimis obnoxiae. (1821/1823)

cite-note-77. ↑ mwareFrancis Galton. "Typical laws of heredity", Nature 15 (1877), 492-495, 512-514, 532-533. mwari(Galton usa il termine "reversion" in questo articolo, che tratta della grandezza dei piselli.); Francis Galton. Presidential address, Section H, Anthropology. (1885) mwarm(in questo documento,che tratta dell'altezza degli esseri umani, Galton utilizza il termine "regressione".)

cite-note-88. ↑ G. Udny Yule. "On the Theory of Correlation", J. Royal Statist. Soc., 1897, p. 812-54. mwargKarl Pearson, G. U. Yule, Norman Blanchard, e Alice Lee. "The Law of Ancestral Heredity", mwarkmwaroBiometrika (1903). Nel lavoro di Yule e Pearson, la distribuzione congiunta della variabile risposta e delle variabili esplicative è ipotizzata essere una mwarsdistribuzione normale. Questa ipotesi fu notevolmente indebolita da R.A. Fisher nei suoi lavori del 1922 e del 1925 (R.A. Fisher, "The goodness of fit of regression formulae, and the distribution of regression coefficients", J. Royal Statist. Soc., 85, 597-612 del 1922 e mwar0Statistical Methods for Research Workers del 1925). Fisher ipotizzava che la distribuzione condizionata della variabile risposta fosse normale, ma non poneva condizioni sulla distribuzione congiunta. Sotto questo aspetto, l'ipotesi di Fisher è più vicina alla formulazione di Gauss del 1821.

• Audi, R., Ed. (1996). "curve fitting problem," mwasiThe Cambridge Dictionary of Philosophy. Cambridge, Cambridge University Press. pp.mwasm 172–173.

• mwasuWilliam H. Kruskal e Judith M. Tanur, ed. (1978), "Linear Hypotheses," mwasyInternational Encyclopedia of Statistics. Free Press, v. 1,

Evan J. Williams, "I. Regression," pp. 523-41.

Julian C. Stanley, "II. Analysis of Variance," pp. 541-554.

• Lindley, D.V. (1987). "Regression and correlation analysis," New Palgrave: A Dictionary of Economics, v. 4, pp.mwas8 120–23.

• Birkes, David e Yadolah Dodge, mwateAlternative Methods of Regression. ISBN 0-471-56881-3

• Chatfield, C. (1993) "Calculating Interval Forecasts," mwatqJournal of Business and Economic Statistics, mwatu11. pp.mwaty 121–135.

• Draper, N.R. e Smith, H. (1998).mwatgApplied Regression Analysis Wiley Series in Probability and Statistics

• Fox, J. (1997). mwatoApplied Regression Analysis, Linear Models and Related Methods. Sage

• Hardle, W., mwatwApplied Nonparametric Regression (1990), ISBN 0-521-42950-1

• Meade, N. e T. Islam (1995) "Prediction Intervals for Growth Curve Forecasts," mwat8Journal of Forecasting, mwaua14, pp.mwaue 413–430.

• Munro, Barbara Hazard (2005) "Statistical Methods for Health Care Research" Lippincott Williams & Wilkins, 5th ed.

• Gujarati, Basic Econometrics, 4ª edizione

• Sykes, A.O. mwauu"An Introduction to Regression Analysis" (Inaugural Coase Lecture)

• S. Kotsiantis, D. Kanellopoulos, P. Pintelas, Local Additive Regression of Decision Stumps, Lecture Notes in Artificial Intelligence, Springer-Verlag, Vol. 3955, SETN 2006, pp.mwauc 148 – 157, 2006

• S. Kotsiantis, P. Pintelas, Selective Averaging of Regression Models, Annals of Mathematics, Computing & TeleInformatics, Vol 1, No 3, 2005, pp.mwauk 66–75

• Confidence region

• mwavaDistanza di Cook

• mwaviDistribuzione normale multivariata

• mwavqEstrapolazione

• Forecasting

• mwavgFunzione di Huber

• mwavoIntervallo di confidenza

• mwavwIntervallo di previsione

• mwav4Kriging (un algoritmo di stima dei minimi quadrati lineari)

• Robust regression

• Segmented regression

• mwawqStatistica

• Stima del trend

Altri progetti

• Wikimedia Commons

• Wikimedia Commons contiene immagini o altri file sull'analisi della regressione

• citerefbritannica-com(EN) regression analysis, su Enciclopedia Britannica, Encyclopædia Britannica, Inc.

• mwaw0(EN) IUPAC Gold Book, "regression analysis", su goldbook.iupac.org.

• mwaw8Exegeses on Linear Models - Alcuni commenti sui modelli di regressione lineare by Bill Venables.